Machine learning models are known to be susceptible to adversarial perturbation. One famous attack is the adversarial patch, a sticker with a particularly crafted pattern that makes the model incorrectly predict the object it is placed on. This attack presents a critical threat to cyber-physical systems that rely on cameras such as autonomous cars. Despite the significance of the problem, conducting research in this setting has been difficult; evaluating attacks and defenses in the real world is exceptionally costly while synthetic data are unrealistic. In this work, we propose the REAP (REalistic Adversarial Patch) benchmark, a digital benchmark that allows the user to evaluate patch attacks on real images, and under real-world conditions. Built on top of the Mapillary Vistas dataset, our benchmark contains over 14,000 traffic signs. Each sign is augmented with a pair of geometric and lighting transformations, which can be used to apply a digitally generated patch realistically onto the sign. Using our benchmark, we perform the first large-scale assessments of adversarial patch attacks under realistic conditions. Our experiments suggest that adversarial patch attacks may present a smaller threat than previously believed and that the success rate of an attack on simpler digital simulations is not predictive of its actual effectiveness in practice. We release our benchmark publicly at https://github.com/wagner-group/reap-benchmark.

我们表明，将人类的先验知识与端到端学习相结合可以通过引入基于零件的对象分类模型来改善深神经网络的鲁棒性。我们认为，更丰富的注释形式有助于指导神经网络学习更多可靠的功能，而无需更多的样本或更大的模型。我们的模型将零件分割模型与一个微小的分类器结合在一起，并经过训练的端到端，以同时将对象分割为各个部分，然后对分段对象进行分类。从经验上讲，与所有三个数据集的Resnet-50基线相比，我们的基于部分的模型既具有更高的精度和更高的对抗性鲁棒性。例如，鉴于相同的鲁棒性，我们部分模型的清洁准确性高达15个百分点。我们的实验表明，这些模型还减少了纹理偏见，并对共同的腐败和虚假相关性产生更好的鲁棒性。该代码可在https://github.com/chawins/adv-part-model上公开获得。

神经网络对攻击的缺乏鲁棒性引起了对安全敏感环境（例如自动驾驶汽车）的担忧。虽然许多对策看起来可能很有希望，但只有少数能够承受严格的评估。使用随机变换（RT）的防御能力显示出令人印象深刻的结果，尤其是Imagenet上的Bart（Raff等，2019）。但是，这种防御尚未经过严格评估，使其稳健性的理解不足。它们的随机特性使评估更具挑战性，并使对确定性模型的许多拟议攻击不可应用。首先，我们表明BART评估中使用的BPDA攻击（Athalye等，2018a）无效，可能高估了其稳健性。然后，我们尝试通过明智的转换和贝叶斯优化来调整其参数来构建最强的RT防御。此外，我们创造了最强烈的攻击来评估我们的RT防御。我们的新攻击极大地胜过基线，与常用的EOT攻击减少19％相比，将准确性降低了83％（$ 4.3 \ times $改善）。我们的结果表明，在Imagenette数据集上的RT防御（ImageNet的十级子集）在对抗性示例上并不强大。进一步扩展研究，我们使用新的攻击来对抗RT防御（称为Advrt），从而获得了巨大的稳健性增长。代码可从https://github.com/wagner-group/demystify-random-transform获得。

对手的例子是在机器学习模型中广泛研究的现象。虽然大多数关注都集中在神经网络上，但其他实际模型也遭受了这个问题。在这项工作中，我们提出了一种用于评估$ K $ -NEALEST邻居分类的对抗鲁棒性，即找到最小常态对抗示例。从以前的建议发散，我们通过执行从给定输入点向外扩展的搜索来采用几何方法。在高级，搜索半径扩展到附近的Voronoi单元格，直到我们找到与输入点不同的单元格分类。要将算法扩展到大量的k $，我们引入了与基线相比，在各种数据集中相比，介绍了具有较小规范的近似捕获的近似步骤。此外，我们分析了DataSet的结构性属性，我们的方法优于竞争。

对抗性培训（AT）已成为培训强大网络的热门选择。然而，它倾向于牺牲清洁精度，以令人满意的鲁棒性，并且遭受大的概括误差。为了解决这些问题，我们提出了平稳的对抗培训（SAT），以我们对损失令人歉端的损失的终人谱指导。 We find that curriculum learning, a scheme that emphasizes on starting "easy" and gradually ramping up on the "difficulty" of training, smooths the adversarial loss landscape for a suitably chosen difficulty metric.我们展示了对普通环境中的课程学习的一般制定，并提出了一种基于最大Hessian特征值（H-SAT）和软MAX概率（P-SA）的两个难度指标。我们展示SAT稳定网络培训即使是大型扰动规范，并且允许网络以更好的清洁精度运行而与鲁棒性权衡曲线相比。与AT，交易和其他基线相比，这导致清洁精度和鲁棒性的显着改善。为了突出一些结果，我们的最佳模型将分别在CIFAR-100上提高6％和1％的稳健准确性。在Imagenette上，一个十一级想象成的子集，我们的模型分别以正常和强大的准确性达到23％和3％。